Invisible Shortcuts: Why Vision Encoders Know Your Camera
隐形捷径：视觉编码器为何能识别相机元数据
🧭 视觉编码器元数据捷径分析与缓解
VRG, FEE, Czech Technical University in Prague · The University of Osaka
揭示视觉模型利用像素级不可见元数据痕迹作为分类捷径，并提出缓解策略改善OOD泛化
📌 工作参考价值（4 点）
- 在商品图片特征提取中，预训练视觉编码器可能学到相机型号、拍摄光圈等元数据捷径，导致对特定来源图片过拟合，影响跨域泛化。可通过添加元数据增强或抑制中间层敏感性来缓解。
- 电商场景下的生成式商品图片检测（如图片真伪识别）可借助这种元数据敏感性，现有编码器已具备较强检测能力。
- 对于Agent系统调用视觉模型，需注意模型可能基于不可见水印做决策，存在安全隐患，可通过元数据随机化训练提高鲁棒性。
- 训练多模态推荐模型时，视觉编码器应经过专门微调以消除元数据捷径，否则在不同相机来源的商品图片评估时可能性能下降。